Counsel: A Meta-Evaluation Dataset for Agentic Tasks
Counsel：首个面向Agent任务的元评估数据集
🧭 LLM-as-judge 评估 · Agent 过程批评质量对齐
Atla AI · Cohere AI · Mistral AI · Google DeepMind
构建首个公开的Agent过程批评元评估数据集，量化LLM-as-judge的人类对齐度，最强judge错误位置对齐~88%
📌 工作参考价值（4 点）
- 迁移标注协议：对Agent交互轨迹的过程批评，采用“正确位置、正确理由”、“正确位置、理由差”、“不应标记”三级标注，直接用于校准电商客服或推荐Agent的自动评估器。
- 选择LLM judge的基准：模型能力与推理努力（如更多tokens）均提升判断对齐度，实践中可依据任务复杂度权衡成本，优先选择更强开源模型（如文中开源模型组合）。
- 构建自有元评估数据集：方法可复现，从已有ground-truth agent benchmark产生过程批评，然后人工评价批评质量，用于训练或微调定制化的judge模型。
- 评估Agent系统可靠性：在广告投放、搜索推荐多步交互流程中，可借助该范式量化自动评估的偏差，避免错误决策被放大。